Ngụy Kim Sơn sinh ngày 5 tháng 4 năm 1927, người huyện Bồng Lai, tỉnh Sơn Đông (nay là quận Bồng Lai, tỉnh Sơn Đông).[1][2] Tháng 2 năm 1945, ông tham gia Bát lộ quân.[1] Tháng 12 năm 1945, ông gia nhập Đảng Cộng sản Trung Quốc. Tháng 11 năm 1950, ông tham gia Chiến tranh Triều Tiên.[1] Tháng 10 năm 1952, ông về nước.[1] Từ năm 1963, ông đảm nhiệm vị trí thư ký Văn phòng (Hứa Thế Hữu) Bộ Tư lệnh Quân khu Nam Kinh.[1] Tháng 3 năm 1965, ông được bổ nhiệm giữ chức Trung đoàn trưởng Trung đoàn 541 Lục quân (Trung đoàn Cảnh vệ Quân khu Nam Kinh).

Tháng 10 năm 1967, ông được bổ nhiệm làm Phó Chính ủy Sư đoàn 179, Quân đoàn 60 Lục quân, Quân khu Nam Kinh. Tháng 12 năm 1969, ông được bổ nhiệm giữ chức Chính ủy Sư đoàn 179, Quân đoàn 60 Lục quân. Tháng 7 năm 1971, ông được bổ nhiệm làm Phó Chính ủy Quân đoàn 60 Lục quân. Tháng 12 năm 1973, ông được bổ nhiệm giữ chức vụ Chính ủy Quân đoàn 60 Lục quân. Tháng 5 năm 1978, ông được bổ nhiệm làm Chính ủy Quân đoàn 12 Lục quân, Quân khu Nam Kinh.[1]

Tháng 10 năm 1982, ông được bổ nhiệm giữ chức Chủ nhiệm Chính trị Quân khu Nam Kinh.[1] Tháng 1 năm 1985, ông được bổ nhiệm làm Chủ nhiệm Chính trị Bộ Tổng Tham mưu PLA.[1]

Tháng 7 năm 1985, ông được bổ nhiệm giữ chức Phó Chính ủy Hải quân PLA. Tháng 9 năm 1988, ông được phong quân hàm Phó Đô đốc.[1] Tháng 4 năm 1990, ông được bổ nhiệm làm Bí thư Đảng ủy Hải quân, Chính ủy Hải quân PLA. Tháng 12 năm 1993, Ngụy Kim Sơn giải ngũ, thay ông làm Chính ủy mới của Hải quân PLA là Chu Khôn Nhân.[1]

Ông là Ủy viên dự khuyết (từ tháng 9 năm 1985 trở thành Ủy viên chính thức) Ban Chấp hành Trung ương Đảng Cộng sản Trung Quốc khóa XII, Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Trung Quốc khóa XIII, XIV.[1][2] Ông cũng là đại biểu Quốc hội khóa V (1978-1983).[1][2]